[レポート] AWSを使用したデータアーカイブおよびデジタル保存ソリューション #STG234 #reinvent

本記事は、セッション「STG234 - Data archiving and digital preservation solutions with AWS」のレポートです

セッション概要

Learn how to manage long-term data archiving and digital asset preservation needs with AWS, including information on compliance use cases requiring write-once-read-many (WORM) protection. We also discuss AWS methods for data validation and fixity checking that helps ensure that your data is available when you need it by using Amazon S3 Glacier and Amazon S3 Glacier Deep Archive.

登壇者

• Rob Czarnecki - Principal Product Manager, Amazon Web Services
• Tanuja Korlepra - Sr. Product Manager, Amazon Web Services
• Jason O’Malley - Head of New Technology, Team Coco
• Travis Kuhl - Director of Technology, Team Coco

内容

AWSストレージサービスについての概要

• オンプレミスのソリューションは、すべての範囲をカバーできるもののそれぞれのサプライヤーに合わせたハードウェアが必要になる。また、それぞれの独自のファームウェア・ソフトウェアを必要とするものもある。
• 一方でAWSでは、様々なストレージサービスを提供し、DB分析からバックアップと復元、DRまでの様々なユースケースに対応できるようにしている
• （スライドのように）AWSのストレージサービスとしては、オブジェクトストレージ。ブロックストレージなどを初め様々な種類が存在する

増加するデータ量について

• AWSのサービスには様々な種類のストレージが存在するが、特に利用が多いS3については注目すると、世界の数百万の顧客のエクサバイトに及ぶデータを保存していることが分かっている
• 毎日作成されるデータの量は、急速に増加し続けている
• 急速に増加するデータをどう管理すべきなのかは後半説明する。次のセクションではまず事例を紹介する

 

「チームココ」のユースケース

• チームの目的はコナン・オブライエン氏のテレビ25周年を祝うための、16年に渡るテレビの歴史のハイライトをデジタルアーカイブ化し、公開すること
• AWS社とIron Mountain社の協力により、「チームココ」はAWS Snowball等を利用してビデオファイルをキャプチャしてカタログ化し、Amazon S3やAmazon S3 Glacier Deep Archiveに保存する方法を取った
• これによって以下が達成された
  • 将来的な保存に向けて全メディアファイルがデジタルアーカイブされた
  • 高価なオンプレソリューションを必要とせずにストレージ・トランスコーディング・コンピュート性能をスケールさせた
  • 以前はテープ保管されていて見てなかった古いメディアが、「チームココ」のSNSを通して数百万人のファンにリーチさせることができた

• 急速に拡大するデータの保存には、Amazon S3のストレージクラス、S3 Glacier Deep Archiveを活用するとよい
  • S3のストレージクラスは6つあり、必要に応じてスケールアップ・スケールダウンできる
    • リスクを許容できるオブジェクトがある場合には、月ごとのストレージ料金を大幅に削減できる
  • 不変性が求められるデータにはAmazon S3 Object Lockを利用する
    • Amazon S3 Object Lockで削除や上書きを保存することができる
    • これによってWORM（Write Once Read Many）モデルを使用したオブジェクトの保存が可能
  • S3 Gracier Deep Archiveの理想的なユースケースは次のようなものである
    • 規制やコンプライアンスのためのアーカイブ
    • データの保持
    • DR（災害回復・予防措置）
  • S3 Gracier Deep Archiveでは
    • • 99.999999999%の耐久性を実現するように設計されている
      • データが最低3つ以上のAZに自動的に分散されて保存される
    • 等の特徴があり、データをセキュアに管理できる
    • ただし、S3 Gracierと比べてリストアの時間は遅くなるため、ケースに合わせた選択が必要。
    • 料金の比較例はスライドの通り
    • 

所感

AWSのストレージサービスやそれらのオプションは数多く揃ってきているので、大きなファイルは漫然と扱わずに、次いつ取り出すのか、要件を満たすのであればクラウドに移行できないか、等を見直していきたいと思いました。